Phố được xây dựng trên nền đất cổ của các thôn Yên Ninh (An Ninh), Yên Thành, Tân Yên (Tân An), Yên Viên (An Viên) và Quan Quang thuộc tổng Yên Thành, huyện Vĩnh Thuận của kinh thành Thăng Long xưa.

Phố có từ thời Pháp thuộc với cái tên là Route du Grand Bouddha (nghĩa là Ông Phật Lớn). Người dân ta hay gọi phố là Quan Thánh (đọc chệch tên Quán Thánh) vì đầu phố có ngôi đền cổ Quán Thánh (thờ thánh Trấn Võ, có tên chữ là Chân Vũ quán) rất nổi tiếng phía đường Thanh Niên (trước là đường Cổ Ngư).

Năm 1945, phố được chính thức đặt tên là Quán Thánh theo tên ngôi đền cổ này.